因果记忆策略:通过干预检索使记忆效用可识别
🧭 Agent 记忆管理 · 因果识别 ★ 深度解读
Illinois Institute of Technology
提出 CMP,用随机化检索暴露恢复记忆效用的可识别性,解决确定性检索下的 positivity violation
📌 工作参考价值(4 点)
- 在 RAG / 生成式推荐或用户画像记忆系统中,离线估计某个 item 或 memory 的增量价值时,必须警惕召回/检索阶段的 positivity 问题:未被召回的 item 其效用不可识别,导致基于效用的 eviction 或降权策略退化为随机。可借鉴 CMP:保留固定比例曝光槽位,对候选 item/memory 以已知 propensity 随机采样,强制产生 support。
- 采用平衡分配(balanced assignment)替代独立随机:固定每个 item 的曝光次数,propensity 精确已知,方差可解析计算;估计器用 self-normalized IPW(等价于 arm 均值差),便于工程实现。
- 对不可逆操作(如删除记忆、商品永久下架、从长期候选池剔除)采用单边弃权(one-sided abstention):Bayes 最优规则要求只有当估计效用显著低于负阈值时才执行不可逆操作,避免误删高价值 item。
- 识别出 utility 不等于能做出 retention 决策:per-query utility 在特定 query 上 AUC 很高,但跨 query 聚合困难,无法用单个标量代表长期价值。这提示在推荐/搜索中,item 价值随上下文变化,需要 query-conditioned 模型而非全局打分,且保留/淘汰决策需考虑未来查询分布的不确定性。
记忆增强解锁高效思维链推理
🧭 LLM 推理加速 × 记忆增强压缩
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc. · Tencent Inc.
提出训练无关的记忆增强压缩框架,用历史推理模式作为预填充支架补偿思维链压缩的信息损失
📌 工作参考价值(4 点)
- 在电商/推荐场景中,若用 LLM 做复杂推理(如商品属性抽取、多步排序、用户意图理解),可将完整 CoT 改为 Chain-of-Draft 风格短推理链降低延迟;同时构建可检索的“推理记忆库”,从历史正确推理中总结关键约束、公式和操作序列,作为 prompt 前缀注入,补偿压缩带来的准确率损失,无需训练,直接可用。
- 记忆的生成与使用可以借鉴 RAG 架构:将历史推理轨迹离线总结为结构化短记忆(如规则、公式片段)并建索引,线上根据问题检索最相关记忆,加入 system 或 prefix;注意实验表明增益来自记忆相关性,单纯拼接长上下文无效,所以向量相似度和相关性过滤要重点设计。
- 对推荐系统中的 query 改写、排序解释、广告文案生成等需要推理但追求低延迟的任务,可以采用“压缩+记忆”的组合:短输出 + 预填充的关键决策因子,达到速度与效果平衡,特别是线上高 QPS 场景。
- 该方法训练无关,兼容 token 级、推理轨迹级、推理状态级压缩,可作为现有 LLM 推理加速方案的轻量插件,适合快速验证对业务指标的影响。
PermaVid:通过解耦上下文记忆实现跨编辑一致视频生成
🧭 视频生成 · 解耦多模态记忆
Shanghai Jiao Tong University · Stanford University · S-Lab, Nanyang Technological University · The Chinese University of Hong Kong · Shanghai Innovation Institute
提出解耦语义外观与几何结构的多模态记忆,结合编辑感知更新,实现视频编辑后的长期一致性生成。
📌 工作参考价值(4 点)
- 解耦记忆设计可启发多模态商品表征:在电商中,将商品视觉特征解耦为外观(颜色、纹理)与几何(形状、结构)分别记忆,可提升虚拟试穿、商品编辑等场景的一致性。
- 编辑感知的记忆更新策略可借鉴到用户兴趣模型:当用户行为发生突变(如切换品类)时,类似更新机制能避免过时记忆干扰,维持长期兴趣建模的连贯性。
- 多模态记忆引导的生成框架可应用于个性化商品展示:利用混合模态参考条件(图像+深度)生成一致性的商品视频或图片,增强生成式推荐的视觉质量。
- 整体上,主要贡献在视频生成,但解耦记忆与一致性维护思路对推荐系统的多模态序列建模有一定跨界启发。
SAM: 面向长程推理智能体的状态自适应记忆
🧭 长程推理 Agent 记忆管理 · 状态自适应记忆 ★ 深度解读
GSAI, Renmin University of China · Beijing Academy of Artificial Intelligence
提出状态自适应记忆框架 SAM,通过记忆线索与意图驱动回忆让智能体从长历史中重建决策支撑信息,无需重训练骨干模型
📌 工作参考价值(4 点)
- 独立的记忆模块与主干解耦:记忆模型独立训练、跨主干复用,适合在已有电商对话/推荐 Agent 上植入长程记忆,避免改造主干模型。
- 分页存储 + 轻量线索:将冗长的交互历史分页并压缩为 compact cues,仅保留线索在上下文,释放 context window;可借鉴到多轮对话或搜索推荐场景的长序列管理中。
- 意图驱动的按需回忆:只有在需要时才根据当前状态选择线索召回原始页面并重建所需信息,比一把摘要或窗口截断更精准,适合电商场景中先分散探索、后期需综合早前信息的任务。
- OAT-GRPO 训练范式:将记忆调用建模为树结构,用专家委员会评估可恢复性并奖励下游任务成功,为训练独立的记忆模块提供了一种闭环方案,可迁移到需要优化长期决策质量的 Agent 训练中。
EntityBench:面向实体一致性的长距离多镜头视频生成基准
🧭 多镜头视频生成 · 实体一致性评估
ByteDance · Rice University
提出多镜头视频实体一致性基准 EntityBench 及记忆增强方法 EntityMem,显著提升跨镜头实体保真度
📌 工作参考价值(4 点)
- 实体级一致性评估框架可迁移至商品图像/视频生成:拆解为属性、类别、外观等细粒度维度,配合 fidelity gate 过滤不合格生成再评分,避免低质量样本干扰评估。
- 显式实体记忆库(pre-computed visual references)类似用户长期偏好向量存储,在生成式推荐中可维护商品或用户画像记忆,用于跨会话一致性生成(如个性化商品描述图的连贯性)。
- 按实体间隔距离划分难度等级的思路适用于推荐系统长期行为一致性测试,例如构建用户跨 session 行为与兴趣保持的评测集。
- 三支柱评估(片内质量、指令对齐、跨片一致性)可用于拆解推荐多阶段输出质量,分别优化即时点击、上下文连贯、跨 session 兴趣稳定。